Optimizing Effective Training Time for Large-Scale Recommendation Systems
优化大规模推荐系统训练的有效训练时间
🧭 大规模推荐训练效率优化 ★ 深度解读
Meta Platforms, Inc.
定义ETT%并优化推荐训练生命周期开销，使6个模型平均ETT提升15.5个百分点
📌 工作参考价值（4 点）
- 建立两级 ETT% 看板：把 TTS / NoF / TTR 再拆到调度、trainer 初始化、PT2 编译、wasted training、shutdown，并映射到 owner，设置 service level 告警。电商/广告训练平台可直接照搬，避免只盯 MFU。
- 优先优化冷启动与恢复共享路径：用 synthetic fast-batch 解除数据管道预热与 PT2 编译的串行依赖，把初始化阶段并行化。因为恢复会重复冷启动，收益按 (1+NoF) 放大。
- PT2 编译治理很划算：对变化维度做 mark_dynamic，剪裁 Triton autotune 并固化为静态配置，稳定 symbolic hash，使用 Mega-Cache 复用编译产物；冷缓存编译从 2050s 降到 254s。
- checkpoint 和发布拆离 GPU 关键路径：异步 checkpoint + PyTorch native staging 可降低 save blocking 约 77%；把模型发布从 trainer 内改为 anchor checkpoint + standalone CPU job，每个 job 可释放约 30 分钟 GPU 占用。